Ví dụ Bigram

Từ một câu mẫu: "I go to school." sẽ cho ra nhiều dạng bigram khác nhau.

Các dạng bigram

Bigram từ("I", "go"), ("go", "to"), ("to", "school")Bigram ký tự với _ thay cho khoảng trắng("I","_"), ("_","g"), ("g","o"), ("o","_"),...,("l",".")Bigram token("I", "go"), ("go", "to"), ("to", "school"), ("school", ".")

Mã Python

Mã python dành cho trường hợp bigram theo từ vựng với việc sử dụng thư viện NLTK.

import nltkword_data = "I go to school."nltk_tokens = nltk.word_tokenize(word_data)  	print(list(nltk.bigrams(nltk_tokens)))

Liên quan